
# 让代码支持python2和python3
from __future__ import division, print_function, unicode_literals

# 常规引用
import numpy as np
import os

# 以使本笔记本的输出在不同的运行中保持稳定。
np.random.seed(42)

# 导入绘图工具包
%matplotlib inline
import matplotlib
import matplotlib.pyplot as plt
# 配置图形的默认属性
plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12

def image_path(fig_id): # 完整调用
    return os.path.join(PROJECT_ROOT_DIR, "images", CHAPTER_ID, fig_id)

def save_fig(fig_id, tight_layout=True): # 保存图像
    print("Saving figure", fig_id)
    if tight_layout:
        plt.tight_layout()# 自动调整子图参数，使之填充整个图像区域
    plt.savefig(image_path(fig_id) + ".png", format='png', dpi=300)# 设置图像保存格式
    
    
# 忽略无用警告
import warnings

warnings.filterwarnings(action="ignore", message="^internal gelsd") # 忽略所有警告


from sklearn.datasets import load_iris # 导入iris数据集
from sklearn.tree import DecisionTreeClassifier# 导入决策树分类器

iris = load_iris()
X = iris.data[:,2:] # 选择数据属性petal length and width
y = iris.target 

tree_clf = DecisionTreeClassifier(max_depth=2)# 设定树的最大深度为2
tree_clf.fit(X,y) #训练DecisionTreeClassifier

DecisionTreeClassifier(max_depth=2)


from sklearn.tree import export_graphviz  # 导入export_graphviz包
# 输出图形定义文件
export_graphviz(
    tree_clf,
    out_file="images/miris_tree.dot",
    feature_names=iris.feature_names[2:],
    class_names=iris.target_names,
    rounded=True,
    filled=True
)


from matplotlib.colors import ListedColormap # 设置颜色

def plot_decision_boundary(clf, X, y, axes=[0, 7.5, 0, 3], iris=True, legend=False, plot_training=True):# 绘制决定边界的图像
    x1s = np.linspace(axes[0], axes[1], 100)# 设置边界
    x2s = np.linspace(axes[2], axes[3], 100)
    x1, x2 = np.meshgrid(x1s, x2s)# 得到网格
    X_new = np.c_[x1.ravel(), x2.ravel()]# 网格降为一维，按行连接
    y_pred = clf.predict(X_new).reshape(x1.shape)
    custom_cmap = ListedColormap(['#fafab0','#9898ff','#a0faa0'])# 颜色设置
    plt.contourf(x1, x2, y_pred, alpha=0.3, cmap=custom_cmap)
    if not iris:
        custom_cmap2 = ListedColormap(['#7d7d58','#4c4c7f','#507d50'])
        plt.contour(x1, x2, y_pred, cmap=custom_cmap2, alpha=0.8)
    if plot_training:
        plt.plot(X[:, 0][y==0], X[:, 1][y==0], "yo", label="Iris-Setosa")
        plt.plot(X[:, 0][y==1], X[:, 1][y==1], "bs", label="Iris-Versicolor")
        plt.plot(X[:, 0][y==2], X[:, 1][y==2], "g^", label="Iris-Virginica")
        plt.axis(axes)
    if iris:
        plt.xlabel("Petal length", fontsize=14)
        plt.ylabel("Petal width", fontsize=14)
    else:
        plt.xlabel(r"$x_1$", fontsize=18)
        plt.ylabel(r"$x_2$", fontsize=18, rotation=0)
    if legend:
        plt.legend(loc="lower right", fontsize=14)

plt.figure(figsize=(8, 4))
plot_decision_boundary(tree_clf, X, y)# 绘制决策边界
plt.plot([2.45, 2.45], [0, 3], "k-", linewidth=2)
plt.plot([2.45, 7.5], [1.75, 1.75], "k--", linewidth=2)
plt.plot([4.95, 4.95], [0, 1.75], "k:", linewidth=2)
plt.plot([4.85, 4.85], [1.75, 3], "k:", linewidth=2)
plt.text(1.40, 1.0, "Depth=0", fontsize=15)
plt.text(3.2, 1.80, "Depth=1", fontsize=13)
plt.text(4.05, 0.5, "(Depth=2)", fontsize=11)
plt.title('Figure 6-2. Decision Tree decision boundaries')# 绘制题目

plt.savefig("images/pre4802.png")# 保存图片
plt.show()# 展示图片


tree_clf.predict_proba([[5,1.5]])# 获得可能情况的预测结果

array([[0.        , 0.90740741, 0.09259259]])


tree_clf.predict([[5,1.5]])（）# 获得预测结果

array([1])


from sklearn.datasets import make_moons # 半环形数据集
Xm, ym = make_moons(n_samples=100, noise=0.25, random_state=53)  #生成半环形数据集

deep_tree_clf1 = DecisionTreeClassifier(random_state=42)# 决策树分类
deep_tree_clf2 = DecisionTreeClassifier(min_samples_leaf=4, random_state=42)# 设定叶子节点最少样本后，进行决策树分类
deep_tree_clf1.fit(Xm, ym)
deep_tree_clf2.fit(Xm, ym)

fig, axes = plt.subplots(ncols=2, figsize=(10, 4), sharey=True)
plt.sca(axes[0])# 绘制第一棵决策树的决策边界
plot_decision_boundary(deep_tree_clf1, Xm, ym, axes=[-1.5, 2.5, -1, 1.5], iris=False)# 画出决策边界
plt.title("No restrictions", fontsize=16)
plt.sca(axes[1])# 绘制第二棵决策树的决策边界
plot_decision_boundary(deep_tree_clf2, Xm, ym, axes=[-1.5, 2.5, -1, 1.5], iris=False)# 画出决策边界
plt.title("min_samples_leaf = {}".format(deep_tree_clf2.min_samples_leaf), fontsize=14)# 绘制标题

plt.savefig("images/pre4803.png")# 保存图片
plt.show()# 展示图片


# 二次方训练集+噪音
np.random.seed(42) # 以使本笔记本的输出在不同的运行中保持稳定。
m = 200
X = np.random.rand(m, 1)# 返回一组200×1的服从“0~1”均匀分布的随机样本值。
y = 4 * (X - 0.5) ** 2 # 获得二次方训练集
y = y + np.random.randn(m, 1) / 10 # 在训练集上加上噪声


from sklearn.tree import DecisionTreeRegressor # 导入回归决策树

tree_reg = DecisionTreeRegressor(max_depth=2) # 设置决策树最大深度
tree_reg.fit(X,y) # 使用决策树进行训练

DecisionTreeRegressor(max_depth=2)


# 输出图形定义文件
export_graphviz(
        tree_reg,
        out_file="images/pre4804",
        feature_names=["x1"],
        rounded=True,
        filled=True
    )


from sklearn.tree import DecisionTreeRegressor # 导入回归决策树
# 设置回归决策树的max_depth=2
tree_reg1 = DecisionTreeRegressor(random_state=42, max_depth=2)
# 设置回归决策树的max_depth=3
tree_reg2 = DecisionTreeRegressor(random_state=42, max_depth=3)
tree_reg1.fit(X, y)
tree_reg2.fit(X, y)

def plot_regression_predictions(tree_reg, X, y, axes=[0, 1, -0.2, 1], ylabel="$y$"):# 绘制回归预测
    x1 = np.linspace(axes[0], axes[1], 500).reshape(-1, 1)
    y_pred = tree_reg.predict(x1)# 进行预测
    plt.axis(axes) # 绘制坐标轴
    plt.xlabel("$x_1$", fontsize=18)# 绘制横坐标
    if ylabel:
        plt.ylabel(ylabel, fontsize=18, rotation=0)
    plt.plot(X, y, "b.")
    plt.plot(x1, y_pred, "r.-", linewidth=2, label=r"$\hat{y}$")

fig, axes = plt.subplots(ncols=2, figsize=(10, 4), sharey=True)    

# 画出第一个回归决策树的预测和决策边界
plt.sca(axes[0])
plot_regression_predictions(tree_reg1, X, y)
for split, style in ((0.1973, "k-"), (0.0917, "k--"), (0.7718, "k--")):
    plt.plot([split, split], [-0.2, 1], style, linewidth=2)
plt.text(0.21, 0.65, "Depth=0", fontsize=15)
plt.text(0.01, 0.2, "Depth=1", fontsize=13)
plt.text(0.65, 0.8, "Depth=1", fontsize=13)
plt.legend(loc="upper center", fontsize=18)
plt.title("max_depth=2", fontsize=14)


# 画出第二个回归决策树的预测和决策边界
plt.sca(axes[1])
plot_regression_predictions(tree_reg2, X, y, ylabel=None)
for split, style in ((0.1973, "k-"), (0.0917, "k--"), (0.7718, "k--")):
    plt.plot([split, split], [-0.2, 1], style, linewidth=2)
for split in (0.0458, 0.1298, 0.2873, 0.9040):
    plt.plot([split, split], [-0.2, 1], "k:", linewidth=1)
plt.text(0.3, 0.5, "Depth=2", fontsize=13)
plt.title("max_depth=3", fontsize=14)

plt.savefig("images/pre4805.png")# 保存图片
plt.show()# 展示图片


tree_reg1 = DecisionTreeRegressor(random_state=42)# 默认的回归决策树
# 设置min_samples_leaf=10的回归决策树
tree_reg2 = DecisionTreeRegressor(random_state=42, min_samples_leaf=10)
tree_reg1.fit(X, y)
tree_reg2.fit(X, y)
# 进行预测
x1 = np.linspace(0, 1, 500).reshape(-1, 1)
y_pred1 = tree_reg1.predict(x1)
y_pred2 = tree_reg2.predict(x1)

plt.figure(figsize=(11, 4))
# 画出第一个回归决策树的预测
plt.subplot(121)
plt.plot(X, y, "b.")
plt.plot(x1, y_pred1, "r.-", linewidth=2, label=r"$\hat{y}$")
plt.axis([0, 1, -0.2, 1.1])
plt.xlabel("$x_1$", fontsize=18)
plt.ylabel("$y$", fontsize=18, rotation=0)
plt.legend(loc="upper center", fontsize=18)
plt.title("No restrictions", fontsize=14)
# 画出第二个回归决策树的预测
plt.subplot(122)
plt.plot(X, y, "b.")# 绘制数据点
plt.plot(x1, y_pred2, "r.-", linewidth=2, label=r"$\hat{y}$")# 绘制预测点
plt.axis([0, 1, -0.2, 1.1])# 绘制坐标轴
plt.xlabel("$x_1$", fontsize=18)# 绘制横坐标
plt.title("min_samples_leaf={}".format(tree_reg2.min_samples_leaf), fontsize=14)# 绘制标题

plt.savefig("images/pre4806.png")# 保存图片
plt.show()# 展示图片


np.random.seed(6)# # 以使本笔记本的输出在不同的运行中保持稳定。
Xs = np.random.rand(100, 2) - 0.5# 返回一组100×2的服从“0~1”均匀分布的随机样本值。
ys = (Xs[:, 0] > 0).astype(np.float32) * 2

angle = np.pi / 4
# 生成矩阵和点乘后的矩阵
rotation_matrix = np.array([[np.cos(angle), -np.sin(angle)], [np.sin(angle), np.cos(angle)]])
Xsr = Xs.dot(rotation_matrix)
# 使用决策树进行分类
tree_clf_s = DecisionTreeClassifier(random_state=42)
tree_clf_s.fit(Xs, ys)
tree_clf_sr = DecisionTreeClassifier(random_state=42)
tree_clf_sr.fit(Xsr, ys)
# 画出第一个决策树的边界
fig, axes = plt.subplots(ncols=2, figsize=(10, 4), sharey=True)
plt.sca(axes[0])
plot_decision_boundary(tree_clf_s, Xs, ys, axes=[-0.7, 0.7, -0.7, 0.7], iris=False)
plt.title('Figure 6-7. Sensitivity to training set rotation')
# 画出第二个决策树的边界
plt.sca(axes[1])
plot_decision_boundary(tree_clf_sr, Xsr, ys, axes=[-0.7, 0.7, -0.7, 0.7], iris=False)
plt.title('Figure 6-7. Sensitivity to training set rotation')# 绘制标题

plt.savefig("images/pre4806.png")# 保存图片# 保存图片
plt.show()# 展示图片


tree_reg1 = DecisionTreeRegressor(random_state=42)# 设置random_state超参数
tree_reg2 = DecisionTreeRegressor(random_state=42, min_samples_leaf=10)# 设置random_state和min_samples_leaf
tree_reg1.fit(X, y)
tree_reg2.fit(X, y)

x1 = np.linspace(0, 1, 500).reshape(-1, 1)
y_pred1 = tree_reg1.predict(x1)# 进行预测
y_pred2 = tree_reg2.predict(x1)# 进行预测

fig, axes = plt.subplots(ncols=2, figsize=(10, 4), sharey=True)
# 绘制第一个决策树的预测
plt.sca(axes[0])
plt.plot(X, y, "b.")# 绘制数据点
plt.plot(x1, y_pred1, "r.-", linewidth=2, label=r"$\hat{y}$")# 绘制预测点
plt.axis([0, 1, -0.2, 1.1])# 绘制坐标轴
plt.xlabel("$x_1$", fontsize=18)# 绘制横坐标
plt.ylabel("$y$", fontsize=18, rotation=0)# 绘制纵坐标
plt.legend(loc="upper center", fontsize=18)# 绘制图例
plt.title("No restrictions", fontsize=14)# 回执表其
# 绘制第二个回归树的预测
plt.sca(axes[1])
plt.plot(X, y, "b.")# 绘制数据点
plt.plot(x1, y_pred2, "r.-", linewidth=2, label=r"$\hat{y}$")# 绘制预测点
plt.axis([0, 1, -0.2, 1.1])# 绘制坐标轴
plt.xlabel("$x_1$", fontsize=18)# 绘制横坐标
plt.title("min_samples_leaf={}".format(tree_reg2.min_samples_leaf), fontsize=14)# 绘制标题

plt.savefig("images/pre4807.png")# 保存图片# 保存图片
plt.show()# 展示图片

决策树¶

决策树训练和可视化¶

预测¶

估算类别概率¶

CART训练算法¶

计算复杂度¶

基尼不纯度与信息熵¶

正则化超参数¶

回归¶

不稳定性¶